大多数深度学习算法都缺乏对其预测的解释,这限制了其在临床实践中的部署。改善解释性的方法,尤其是在医学成像中,经常被证明可以传达有限的信息,过于放心或缺乏健壮性。在这项工作中,我们介绍了生成自然语言解释(NLE)的任务,以证明对医学图像的预测是合理的。NLE是人类友好且全面的,并能够培训本质上可解释的模型。为了实现这一目标,我们介绍了模仿 - nle,这是带有NLE的第一个大规模的医学成像数据集。它包含超过38,000个NLE,可以解释各种胸部病理和胸部X射线检查结果。我们提出了一种解决任务并评估该数据集中的几个架构的一般方法,包括通过临床医生评估。
translated by 谷歌翻译
最近,对生成自然语言解释(NLE)的模型的兴趣日益增长。但是,培训提供NLES的模型需要获取特定于任务的NLE,这是时间和资源的。潜在的解决方案是从域的域的域外逆转,通过几次射门传输学习,具有大量NLE的域与具有稀缺的域,但潜在的标签。在这项工作中,我们为几个NLE的案例引入了几次射门转移学习的三种香草方法,但标签很少,以及适应现有的香草微调方法。我们从自然语言推理域中传输解释性,其中人写入的NLES的大型数据集(E-SNLI),到代词解析的域名(1)代词分辨率的域,在那里我们在顶部引入了一个小型数据集Winogrande DataSet(小型e-winogrande)和(2)致辞验证(Comve)。我们的结果表明,NLES的转移优于单项任务方法,并建立四个已确定的培训制度中的最佳策略。我们还在培训数据和模型大小方面调查最佳方法的可扩展性。
translated by 谷歌翻译
提取理由(即输入特征的子集)和自然语言解释(NLEL)是机器学习模型的两个主要类型的解释。虽然NLES可以比提取理由更全面,但是已经显示出机器生成的NLES在致致通知知识方面缩短。在本文中,我们表明,致辞知识可以充当开采理性和NLE之间的桥梁,更好地渲染两种类型的解释。我们介绍了一个名为rexc的自律化框架,(1)提取理由作为预测的最负责任的特征,(2)使用致辞资源扩展到的提取理由,(3)选择最适合的致商知识来生成NLE并提供最终预测。我们的框架在自然语言和视觉语言理解中,我们在以前的五个任务中产生了一个大型的最先进的最先进。与致致辞的自合作化也强烈提高了在以前产生解释的最佳表演模型上的提取理由和任务表演的质量。
translated by 谷歌翻译
We propose a method that can generate an unambiguous description (known as a referring expression) of a specific object or region in an image, and which can also comprehend or interpret such an expression to infer which object is being described. We show that our method outperforms previous methods that generate descriptions of objects without taking into account other potentially ambiguous objects in the scene. Our model is inspired by recent successes of deep learning methods for image captioning, but while image captioning is difficult to evaluate, our task allows for easy objective evaluation. We also present a new large-scale dataset for referring expressions, based on MS-COCO. We have released the dataset and a toolbox for visualization and evaluation, see https://github.com/ mjhucla/Google_Refexp_toolbox.
translated by 谷歌翻译